הרצאה 5 - רגרסיה לוגיסטית ואנטרופיה צולבת

אינפורמציה:

ככל שקיבלנו מידע על משהו יותר נדיר (עם הסתברות נמוכה) הוא יותר אינפורמטיבי
מתמטית: $I (x) = - l o g P (x)$

אנטרופיה:

תוחלת ההפתעה במערכת מסוימת
ככל שההתפלגות מפוזרת בצורה שווה יותר, האנטרופיה גדולה יותר
מתמטית: $H ׁ ׁ ׂ ׁ (X) = E_{x} [I (X)] = - \sum P (x) l o g P (x)$

אנטרופיה צולבת ׁ(CE):

תוחלת הצלבה בין שתי התפלגויות: P - ההתפלגות שקרתה בעולם, Q - ההתפלגות בה אנחנו מאמינים
ככל שהאירוע שהסבירות של האירועים שאני מאמין שהם הכי נדירים היא יותר גדולה, האנטרופיה הצולבת תהיה גדולה יותר.
במקרה שבו יש משתנה בהתפלגות שהאמונה שלי בו היא 0, אך בפועל הוא גדול מ-0, ההפתעה שלי (CE), תהיה אינסוף
מתמטית: $H ׂ ׁ (P | | Q) = - \sum P (x) l o g Q (x)$

דוגמא:
נניח מרוץ סוסים בעל שלושה סוסים. על פי האמונה שלי (Q): סוס 1 ינצח ב 30% מהפעמים, סוס 2 ינצח ב 60% מהמקרים, וסוס שלוש ינצח ב 10% מהמקרים.
בפועל (P): לסוס 1 יש 10% לנצח, לסוס 2 יש 10% לנצח, ולסוס שלוש יש 80% לנצח.
נחשב את האנטרופיה הצולבת:
$C E = - (0.1 l n (0.3) + 0.1 l n (0.6) + 0.8 l n (0.1)) = 2.243$

מדידת מרחק בין התפלגויות $D_{K L}$ :

נרצה למדוד את המרחק כשנרצה לדעת כמה אני אופתע אקסטר מאירוע מהתפלגות Q, מכיוון שאני חוזה אותו באמצעות Q ולא באמצעות P
מתמטית: $\sum p (x) l o g \frac{P (x)}{Q (x)}$

רגרסיה לוגיסטית:

מתאימה למשימות סיווג, אך בשונה מ - הפרספטרון הבינארי , היא מאפשרת ניבוי הסתברותי
הפלט עבור הרגרסיה הלוגיסטית הוא סיגמואידלי:
$σ (z) = \frac{1}{1 + e^{- z}}, y = σ (\vec{w} \vec{x} + b)$
נרצה לשים לב כי החזקה על e היא מינוס z ולא z!
פונקצית השגיאה שלה היא האנטרופיה הצולבת
כדי למזער את השגיאה נשתמש ב ירידה במורד הגרדיאנט.
כלל הגזירה עבור הרגרסיה הלוגיסטית:

\begin{aligned} \frac{\partial C E}{\partial w_{1}} & = (y - y_{0}) x_{1} \\ Δ w_{i} & = - η (y - y_{0}) x_{i} \end{aligned}